Merge pull request #2637 from cgwalters/opt-prune-reachable-too

prune: Also use object set API in `ostree_repo_prune_from_reachable()`

prune: Also use object set API in `ostree_repo_prune_from_reachable()`

I missed the second prune path when working on
https://github.com/ostreedev/ostree/pull/2635

Merge pull request #2636 from cgwalters/update-git-libostree-git-rust

ci: Add a flow that does a git libostree + git rust-bindings

Merge pull request #2635 from cgwalters/list-objects-set

ci: Add a flow that does a git libostree + git rust-bindings

In https://github.com/ostreedev/ostree/pull/2633 I realized
that our CI only builds git of libostree or git of rust-bindings,
not git of both.  And we definitely want to test the latter too,
so e.g. the Rust tests *also* become tests for changes to the C code.

repo: Further optimize `ostree_repo_list_objects_set()`

In a prior change we discovered that for bad historical reasons
libostree was returning a mapping "object type+checksum" => "metadata"
but the "metadata" was redundant and pointless.

Optimize the prune API to use a (currently internal) object listing
API which returns a set, not a map.  This allows `GHashTable` to
avoid allocating a separate array for the values, neatly cutting
memory usage in half (from ~13MB to ~6MB) on my test case of a
dry-run prune of a FCOS build.

Merge pull request #2633 from cgwalters/bump-rust-bindings

rust: Bump semver, add feature for current release

rust: Bump semver, add feature for current release

There were some changes to the sys API for introspection fixes.
And add a feature for the current release, which is something
I'll add to the checklist for releases.

Merge pull request #2634 from cgwalters/list-objects-malloc

repo: Optimize memory use of `ostree_repo_list_objects()`

repo: Optimize memory use of `ostree_repo_list_objects()`

I was looking at https://github.com/ostreedev/ostree/pull/2632
and confused at the usage of
`GVariant *value = g_variant_new ("(b@as)", TRUE, g_variant_new_strv (NULL, 0));`
which looked strange - why the empty strv?

It turns out that this is a historical legacy of the time when
ostree had pack files.  And nothing actually cares about the values
of these variants; we should have an API that returns a proper set,
and not a hash.

But...since all of these things have exactly the same value, instead
of allocating lots of redundant copies on the heap, just have
them all hold a refcount on a shared value.

This cuts the heap usage from 20MB to 13MB on a test FCOS repository
build.

Merge pull request #2631 from cgwalters/release-2022-4

Release 2022.4

configure: post-release version bump

Release 2022.4

Merge pull request #2627 from cgwalters/bindings-drop-committed-gir

rust-bindings: Update to latest git

rust-bindings: Use OSTree-1.0.gir from our own builddir

Now that the projects are unified.

rust-bindings: Delete committed gir files

These seem to have been accidentally committed to git; they should
not be here.  The Gir should be derived from source code.

Merge pull request #2625 from cgwalters/drop-features-introspection

Drop `OSTREE_BUILT_FEATURES` from introspection

Merge pull request #2624 from cgwalters/misc-introspection-fixes

Rename ostree-cmdprivate to drop out of introspection

Drop `OSTREE_BUILT_FEATURES` from introspection

It inherently depends on the individual build, and can't
really be an official stable API for introspection users.
I've noticed the value of this flip flop when doing local builds.

I'm fairly certain no one is trying to use it from a higher level
language.

It'd probably make sense to even drop from the official C API,
but I'm trying to be conservative with that.

Rename ostree-cmdprivate to drop out of introspection

I was looking at our `.gir` and noticed we had the cmdprivate bits
because the pattern for excluding headers is `-private.h`, which
didn't match `cmdprivate.h`.

Merge pull request #2620 from jameswestman/lookup-annotations

Fix annotations on ostree_mutable_tree_lookup()

Merge pull request #2622 from cgwalters/more-ci

gitignore: Add ci-build/

Generated by our scripts.

ci: Add a codestyle.sh

This matches what we do in rpm-ostree.  Move the `glnx_fd_close`
bits out of `make syntax-check` in preparation for dropping that.

ci: Drop an unused files

Cruft from previous CI flows.

Merge pull request #2621 from cgwalters/drop-jenkins-soup

ci: Drop libsoup build in jenkins

GH actions is fast zero cost system that covers these build matrix
things well.  Let's keep our Fedora CI system doing more of the
qemu heavy lifting.

Fix annotations on ostree_mutable_tree_lookup()

(nullable) and (optional) were missing on lookup()'s out parameters,
which caused the rust bindings for the function to not work. Due to the
missing (nullable), it would return a Result<(GString, MutableTree), _>,
not a Result<(Option<GString>, Option<MutableTree>), _>, which led to
panics.

Merge pull request #2613 from GuiltyDoggy/man-update

man: Fix ostree-admin-instutil subcommands

Merge pull request #2619 from nikita-dubrovskii/skip_gzip_unpacking

s390x: do not unpack existing initrd, just append LUKS keys to its copy

Signed-off-by: Nikita Dubrovskii <nikita@linux.ibm.com>

Merge pull request #2618 from jlebon/pr/copr-fix

copr: mark git checkout as safe

copr: mark git checkout as safe

Recent git became more strict wrt git repos in parent dirs owned by
other users. This broke our COPR builds due to the git checkout being
created by a different user and mounted in. We need to explicitly mark
the repo as safe.

For more information, see:
https://github.com/actions/checkout/issues/760

Merge pull request #2615 from nikita-dubrovskii/handle_errors

Merge pull request #2605 from saqibali-2k/pr/bls-append

ostree-systroot-deploy: parse bls-append-except-default key

s390x: fail on error during reading of SecureExecution sysfs flag

Merge pull request #2616 from HuijingHei/dup-osname

Remove dup "--os=OSNAME" line in output of "ostree admin config-diff --help"

Remove dup "--os=OSNAME" line in output of "ostree admin config-diff --help"

Small fix for https://github.com/ostreedev/ostree/issues/2594

Fix GNU style of two spaces for indent in https://github.com/ostreedev/ostree/pull/2612

Merge pull request #2612 from HuijingHei/deploy-karg-delete

Teach --karg-delete option to ostree admin deploy

Merge pull request #2614 from nikita-dubrovskii/issue-2867

s390x: ensure SecureExecution is enabled before sd-boot generation

s390x: ensure SecureExecution is enabled before sd-boot generation

Signed-off-by: Nikita Dubrovskii <nikita@linux.ibm.com>

Merge pull request #2580 from nikita-dubrovskii/sdboot_partition

s390x: generate sd-boot at its own partition

man: Fix ostree-admin-instutil subcommands

<term><cmdsynopsis> is not valid, causing the command to not be rendered
correctly.

Create one <variablelist> per <cmdsynopsis>. Inelegant but maintains
desired formatting.

Closes #2581

Teach --karg-delete option to ostree admin deploy

See https://github.com/ostreedev/ostree/issues/2586

man/ostree.repo-config.xml: add docs for bls-append-except-default key

Relevant: https://github.com/coreos/fedora-coreos-tracker/issues/134

ostree-systroot-deploy: parse bls-append-except-default key

We want to parse a new "bls-append-except-default" key from ostree config. The
key-value pairs specified by this key will be added to the generated
BLS fragments of non-default deployments. They must follow the format
"key1,value1;key2,value2" and so on.

This change will allow us to land GRUB password support in FCOS.

Relevant: https://github.com/coreos/fedora-coreos-tracker/issues/134

s390x: generate sd-boot at its own partition

Signed-off-by: Nikita Dubrovskii <nikita@linux.ibm.com>

Merge pull request #2610 from cgwalters/ci-tweaks-2

ci: Move codestyle and min build to GH actions

ci: Move codestyle and min build to GH actions

Part of general momentum to leave heavy lifting (e.g. VM tests)
to Jenkins and Prow and use the cheaper/faster GH actions for
plain builds.

Merge pull request #2608 from cgwalters/fanalyzer-fixes

ci: Drop gcc `-fanalyzer` by default

ci: Drop all `runAsUser: 0` in builds

This triggers the new git warning; I think this is only
here because long ago we used coreos-assembler as a buildroot,
but that's long since fixed.

ci: Drop gcc `-fanalyzer` by default

There's a pile of new warnings in GCC 12 from F36, I dug into
them but most of them seem inscrutable - I am not seeing the bugs.

For now to unblock further work, stop using this flag.

sysroot: Strengthen several `g_return_if_fail` into `g_assert()`

Similar to prior changes; motivated by testing out an updated
`gcc -fanalyzer`.

sysroot: Quiet one gcc `-fanalyzer` warning

I don't think this can happen in practice, but add an assertion
to verify it.

Merge pull request #2606 from ostreedev/dependabot/submodules/libglnx-c59eb27

build(deps): bump libglnx from `c71f7ae` to `c59eb27`

build(deps): bump libglnx from `c71f7ae` to `c59eb27`

Bumps libglnx from `c71f7ae` to `c59eb27`.

---
updated-dependencies:
- dependency-name: libglnx
  dependency-type: direct:production
...

Signed-off-by: dependabot[bot] <support@github.com>

Merge pull request #2603 from cgwalters/use-cargo-deny

ci: use cargo-deny

ci: use cargo-deny

Copied from https://github.com/ostreedev/ostree-rs-ext/pull/291

Part of unifying our CI.

Merge pull request #2575 from cgwalters/merge-ostree-rs

Merge ostree-rs into this repository

Merge pull request #2601 from cgwalters/expose-get-xattrs

Add APIs to get xattrs from disk

Merge pull request #2602 from cgwalters/fix-docs-ci

ci: Work around GH actions `container:` + git + security bug

rust-bindings: Remove some unused CI/test bits

We're not using Vagrant or Gitlab, and our container flow is
different.

ci: Move rust-bindings CI to toplevel

It should replace our stub one.

tests/inst: Add .gitignore

Need this now that it is it's own workspace.

ci: Work around GH actions `container:` + git + security bug

See https://github.com/actions/checkout/issues/760

tests/inst: Fix install rules for ostree-rs merger

`tests/inst` became its own workspace.

Add APIs to get xattrs from disk

I'm aiming to do some more work on the Rust side around `fsck`
like functionality, and this is a useful primitive.  There isn't
a great Rust crate for xattrs, and I think it's better to share this
code.

cfg.mk: Don't even look at rust-bindings/

It's really tempting to remove `make syntax-check`, it has very
very rarely found any real problems.

But anyways, just exclude all the binding code because it trips
up random problems we simply don't care about like mentions of
`O_NDELAY` in the `GLib-2.0.gir`.

Merge pull request #2600 from cgwalters/link-suse-ima

docs/ima: Also link the SUSE docs

docs/ima: Also link the SUSE docs

They have a lot of stuff there.

build-sys: Adjust for merge of ostree-rs

Fix up the paths for the crates now that the Rust bindings are in
`rust/`.

We can't today include the test suite because it depends on `ostree-rs-ext`
which would make everything circular.

(Building that now requires a separate `cd tests/inst && cargo build`)

Add a `repo()` accessor to `TransactionGuard`

I want to write APIs that *require* the caller to have set up
an ostree transaction.  It's natural to require passing a guard
to do so.  But then we want an accessor for the repo.

lib: Run `cargo fmt`

Prep for merge into ostree, where we want to run `cargo fmt` checks
in CI.

ostree: release 0.13.7

ostree: manually patch generated files

This manually adds a missing `ToGlibPtr` import, which seems to be result
of some bugs in `gir` code-generation.

ostree: refresh after gir bump

ostree/cargo: bump to ostree-sys 0.9.2

ostree-sys: release 0.9.2

ostree-sys: refresh after gir bump

gir-files: bump to v2022.2

repo: Add `query_file` API

The underlying `ostree_repo_load_file()` API has the caller pass
`NULL` for output arguments it doesn't want.  This isn't sanely
bindable in Rust - what the generator does is always request
all values, but maps them all to `Option<T>`.

The main cases are where a user wants either metadata, or both
metadata and content.  This API gives just metadata; it's a
bit more efficient as we don't need to open the file, and doesn't
require the caller to `unwrap()`.

Add manual bindings for MutableTree reading

I'm trying to debug a problem in ostree-rs-ext, and it's
handy to be able to do `dbg!(mtree.copy_files())`.

Release 0.13.6

Fast-track fix for `ostree_gpg_verify_result_get_all()`

This cherry picks just the changes from
https://github.com/ostreedev/ostree/pull/2537

We don't need to wait to respin a new ostree release just
for this.

Release 0.13.5

Add `COMMIT_META_CONTAINER_CMD` constant

Today we hardcode `/bin/bash` in
https://github.com/coreos/coreos-assembler/blob/2088d24884771093101d95f915c921505128ef76/src/cmd-build#L405

But that breaks the concept of a bidirectional bridge between
container image and ostree commit because this little bit of
knowledge is encoded at the buildsystem side.

This metadata key is intended to be written into an ostree commit,
and then we will use it automatically in `container encapsulate`.

The "source of truth" for this key will hence be able live in the same
place that's generating the ostree commit.

The more "proper" place for this is probably alongside the other
constants in the libostree core C code.  But that's tedious and
slow to release.  And Rust is the future.  And we've been slowly
adding more "core ostree" functionality here.

repo: Add two more cap-std APIs

Followup to the previous PR.  I realized now with `io_lifetimes`
we can offer a safe `dfd_borrow()` that *borrows* the file descriptor
for the repository.  (In contrast to the current `.dfd()` that returns
the raw version)

Building on that, add another API that re-acquires a `Dir` instance.
(In the future in theory we could optimize this more by knowing
 whether or not the repo was constructed via cap-std, and perhaps
 in theory synthesize a `&Dir` reference, but I don't think we
 need that now)

Add a `cap-std-apis` feature with open/create

I'm trying to make more use of `cap-std` in our stack, and
this will be a key enabling API.

Actually a notable side benefit of this is that we don't need
to teach the ostree C code itself to use `openat2`, we inherit
cap-std's setup.

All of the internal ostree code using the prior `openat()` should
continue to work.

I only did basic sanity checking of this; there may be bugs
in other APIs.

Release 0.13.4

repo: Add an API to read and parse directory metadata

The fact that the uid/gid/mode are big endian bit me when I was
trying to parse this "by hand" in ostree-rs-ext.

Let's add a footgun-free API for this.

(And yeah, we should probably do the same for the other variant types)

ci: add jobs for MSRV checks and linting

This adds two jobs in order to check minimum toolchain compatibility,
and for overall linting.

lib: run rustfmt

lib: fix new clippy warnings

This fixes the following warnings highlighted by clippy:
 * https://rust-lang.github.io/rust-clippy/master/index.html#needless_question_mark
 * https://rust-lang.github.io/rust-clippy/master/index.html#redundant_closure
 * https://rust-lang.github.io/rust-clippy/master/index.html#single_component_path_imports

sys/cargo: refresh manifest

This updates stale dependencies and remove leftover settings.

Update impl Display, omit to_string, change wording

add ObjectDetails-struct and use it in list_objects-function

update result type

switch from if-else to match